VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval
VisDocAgentBench：面向视觉富文档检索的智能体基准评测
🧭 多模态文档检索智能体评测 ★ 深度解读
Peking University · Alibaba Group
提出视觉富文档检索基准，暴露强静态检索在桥接证据上近乎失效，而工具智能体可恢复但依赖规划器与视觉表示
📌 工作参考价值（4 点）
- 电商/广告搜索中，商品详情页、广告落地页、海报等视觉富文档不能只用 OCR 文本召回；强视觉 late-interaction 检索（如 Nemotron ColEmbed）对直接匹配收益巨大，但面对需要上下文消歧的查询会失效。建议将强视觉检索作为 discovery，叠加 Agent 的迭代检查与证据重排序。
- 同一 index/tool 接口下不同 planner 的 R@1 从 19.17% 到 67.50%，说明单纯接入工具不等于有效检索；应重点优化 planner 的搜索改写、检查策略和最终排序，并利用 trace 诊断失败在 discovery、examination 还是 ranking。
- 页面/图片 inspection 是最大增益点（去掉后 R@1 掉 15.8/21.7 点），因此多模态 Agent 必须保留原始视觉图，不能只用 OCR 文本或 caption；on-demand OCR/crop 可做局部验证，但要平衡全局探索，否则长链路性能会反弹。
- 对需要多跳证据的查询，给 Agent 提供完整 support context 能显著提升 R@10；业务可实现为初期附加候选 support pages 或引入 evidence-role aware 状态，避免模型被表面相似项锚定。